Telegram Group & Telegram Channel
Что делать, если распределение данных меняется со временем? Как это влияет на валидацию и Early Stopping

Когда данные со временем «плывут» (то есть меняется их распределение), фиксированный валидационный набор устаревает. В этом случае Early Stopping может остановить обучение в «лучшей» точке для старого распределения, но не для актуального.

🔍 Что можно сделать

1. Обновлять или ротационно менять валидационный набор
— Чтобы он отражал текущее состояние данных, а не прошлое.


2. Использовать скользящие метрики или онлайн-мониторинг
— Особенно в потоковых системах: метрики качества считаются по «живым» данным, а не по статичному отрезку.


3. Переобучать или дообучать модель при обнаружении дрейфа
— Если обнаружили drift, стоит не просто дообучить модель, а пересобрать или адаптировать её с учётом новых данных.


⚠️ Подводный камень:
Если валидация остаётся неизменной, вы можете не заметить, что модель перестала работать. Early Stopping в этом случае остановит обучение слишком рано или слишком поздно — и модель будет плохо обобщать на реальные данные.

Библиотека собеса по Data Science
Please open Telegram to view this post
VIEW IN TELEGRAM



tg-me.com/ds_interview_lib/984
Create:
Last Update:

Что делать, если распределение данных меняется со временем? Как это влияет на валидацию и Early Stopping

Когда данные со временем «плывут» (то есть меняется их распределение), фиксированный валидационный набор устаревает. В этом случае Early Stopping может остановить обучение в «лучшей» точке для старого распределения, но не для актуального.

🔍 Что можно сделать

1. Обновлять или ротационно менять валидационный набор
— Чтобы он отражал текущее состояние данных, а не прошлое.


2. Использовать скользящие метрики или онлайн-мониторинг
— Особенно в потоковых системах: метрики качества считаются по «живым» данным, а не по статичному отрезку.


3. Переобучать или дообучать модель при обнаружении дрейфа
— Если обнаружили drift, стоит не просто дообучить модель, а пересобрать или адаптировать её с учётом новых данных.


⚠️ Подводный камень:
Если валидация остаётся неизменной, вы можете не заметить, что модель перестала работать. Early Stopping в этом случае остановит обучение слишком рано или слишком поздно — и модель будет плохо обобщать на реальные данные.

Библиотека собеса по Data Science

BY Библиотека собеса по Data Science | вопросы с собеседований


Warning: Undefined variable $i in /var/www/tg-me/post.php on line 283

Share with your friend now:
tg-me.com/ds_interview_lib/984

View MORE
Open in Telegram


Библиотека собеса по Data Science | вопросы с собеседований Telegram | DID YOU KNOW?

Date: |

Should I buy bitcoin?

“To the extent it is used I fear it’s often for illicit finance. It’s an extremely inefficient way of conducting transactions, and the amount of energy that’s consumed in processing those transactions is staggering,” the former Fed chairwoman said. Yellen’s comments have been cited as a reason for bitcoin’s recent losses. However, Yellen’s assessment of bitcoin as a inefficient medium of exchange is an important point and one that has already been raised in the past by bitcoin bulls. Using a volatile asset in exchange for goods and services makes little sense if the asset can tumble 10% in a day, or surge 80% over the course of a two months as bitcoin has done in 2021, critics argue. To put a finer point on it, over the past 12 months bitcoin has registered 8 corrections, defined as a decline from a recent peak of at least 10% but not more than 20%, and two bear markets, which are defined as falls of 20% or more, according to Dow Jones Market Data.

Look for Channels Online

You guessed it – the internet is your friend. A good place to start looking for Telegram channels is Reddit. This is one of the biggest sites on the internet, with millions of communities, including those from Telegram.Then, you can search one of the many dedicated websites for Telegram channel searching. One of them is telegram-group.com. This website has many categories and a really simple user interface. Another great site is telegram channels.me. It has even more channels than the previous one, and an even better user experience.These are just some of the many available websites. You can look them up online if you’re not satisfied with these two. All of these sites list only public channels. If you want to join a private channel, you’ll have to ask one of its members to invite you.

Библиотека собеса по Data Science | вопросы с собеседований from tr


Telegram Библиотека собеса по Data Science | вопросы с собеседований
FROM USA